import pandas as pd
import plotly.express as px
import plotly.io as pio
pio.renderers.default = "notebook"
pd.set_option('display.max_colwidth', None)
d1 = pd.read_csv("pd0.csv")
d1
| tempo | triplas | |
|---|---|---|
| 0 | 80.995305 | 100 |
Exemplo de consulta:
prefix owl: \http://www.w3.org/2002/07/owl#\
prefix rdfs: \http://www.w3.org/2000/01/rdf-schema#\
select * where {
?s a <http://www.sefaz.ma.gov.br/ontology/Acordao>;
?p ?o.
} LIMIT 100
d2 = pd.read_csv("pd1.csv")
d2
| tempo | classe | triplas | |
|---|---|---|---|
| 0 | 1.924627 | Acórdão | 100 |
| 1 | 3.892872 | Agente | 100 |
| 2 | 9.686794 | Arma | 100 |
| 3 | 0.724896 | Arquivo | 100 |
| 4 | 1.277679 | Ativa | 100 |
| ... | ... | ... | ... |
| 136 | 0.544959 | Unidade Federativa | Estado | 100 |
| 137 | 0.468388 | Unidade Fiscal | 32 |
| 138 | 3.496618 | Usuário | 100 |
| 139 | 0.632223 | Órgão | 100 |
| 140 | 6.002257 | Evento | 100 |
141 rows × 3 columns
p = {'inválidas':d2[(d2['triplas']==0) | (d2['triplas']==-1)].shape[0],'válidas':d2.shape[0]-d2[(d2['triplas']==0) | (d2['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de classes válidas')
fig.show()
d2['timeout'] = 'Não'
d2.loc[d2['triplas']==-1,'timeout'] = 'Sim'
p= d2['timeout'].value_counts().reset_index(name="count")
fig = px.pie(p,values='count', names='index', title='Percentual de classes com erros')
fig.show()
d2[d2['triplas']==-1]
| tempo | classe | triplas | timeout |
|---|
p = {'vazias':d2[d2['triplas']==0].shape[0],'povoadas':d2.shape[0]-d2[d2['triplas']==0].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de classes vazias')
fig.show()
d2[d2['triplas']==0]
| tempo | classe | triplas | timeout | |
|---|---|---|---|---|
| 41 | 0.306686 | Endereço C115 Comunicação | 0 | Não |
| 42 | 0.327635 | Endereço C115 Energia | 0 | Não |
| 43 | 0.298401 | Endereço C115 Telecomunicação | 0 | Não |
validas = d2[(d2['triplas']!=0) & (d2['triplas']!=-1)]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<=19], x="tempo",title="histograma de tempo de execução, quando tempo [0,19]")
fig.show()
Estatísticas para consultas com tempo [0,20)
validas[validas['tempo']<20].describe()
| tempo | triplas | |
|---|---|---|
| count | 134.000000 | 134.000000 |
| mean | 1.807693 | 91.686567 |
| std | 2.070622 | 24.588774 |
| min | 0.415841 | 6.000000 |
| 25% | 0.552857 | 100.000000 |
| 50% | 0.942453 | 100.000000 |
| 75% | 2.183699 | 100.000000 |
| max | 13.188751 | 100.000000 |
fig = px.histogram(validas[validas['tempo']>=20], x="tempo",title="histograma de tempo de execução, quando tempo [20,inf]")
fig.show()
Consultas com tempo [20,inf)
validas[validas['tempo']>=20].sort_values(by="tempo",ascending=False)
| tempo | classe | triplas | timeout | |
|---|---|---|---|---|
| 36 | 196.300485 | Empresa | Organização | Pessoa Jurídica REDESIM | 100 | Não |
| 69 | 160.952581 | Item | 100 | Não |
| 119 | 112.810376 | Status de similaridade | 100 | Não |
| 86 | 23.497210 | Pessoa Física Cadastro SEFAZ | 100 | Não |
Exemplo:
prefix owl: \http://www.w3.org/2002/07/owl#\
prefix rdfs: \http://www.w3.org/2000/01/rdf-schema#\
select * where {
<http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/14769662491-10_05_2017-00371520167> ?p ?o.
} LIMIT 100
d3 = pd.read_csv("pd2.csv")
d3
| tempo | classe | triplas | |
|---|---|---|---|
| 0 | 0.614811 | Acórdão | 5 |
| 1 | 0.344743 | Agente | 5 |
| 2 | 12.334238 | Arma | 8 |
| 3 | 2.907591 | Arquivo | 12 |
| 4 | 0.405059 | Ativa | 9 |
| ... | ... | ... | ... |
| 133 | 0.319103 | Unidade Federativa | Estado | 5 |
| 134 | 0.375041 | Unidade Fiscal | 4 |
| 135 | 4.971835 | Usuário | 4 |
| 136 | 0.366983 | Órgão | 9 |
| 137 | 2.279779 | Evento | 51 |
138 rows × 3 columns
d3[(d3['triplas']==0) | (d3['triplas']==-1)]
| tempo | classe | triplas | |
|---|---|---|---|
| 83 | 1200.054753 | Pessoa Física Cadastro SEFAZ | -1 |
validas = d3[(d3['triplas']!=0) & (d3['triplas']!=-1)]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<5], x="tempo",title="histograma de tempo de execução, quando tempo [0,5)")
fig.show()
Estatísticas para consultas com tempo [0,5)
validas[validas['tempo']<5].describe()
| tempo | triplas | |
|---|---|---|
| count | 122.000000 | 122.000000 |
| mean | 0.967994 | 10.672131 |
| std | 1.119278 | 13.487333 |
| min | 0.008965 | 2.000000 |
| 25% | 0.349984 | 5.000000 |
| 50% | 0.462086 | 8.000000 |
| 75% | 1.011461 | 10.000000 |
| max | 4.971835 | 100.000000 |
fig = px.histogram(validas[(validas['tempo']>=5) & (validas['tempo']<50)], x="tempo",title="histograma de tempo de execução, quando tempo [5,49]")
fig.show()
Estatísticas para consultas com tempo [5,inf)
validas[validas['tempo']>=5].describe()
| tempo | triplas | |
|---|---|---|
| count | 15.000000 | 15.000000 |
| mean | 27.819590 | 13.800000 |
| std | 50.954310 | 7.042727 |
| min | 5.442606 | 6.000000 |
| 25% | 6.716621 | 7.000000 |
| 50% | 8.734953 | 15.000000 |
| 75% | 12.598455 | 16.000000 |
| max | 188.761973 | 28.000000 |
Consultas com tempo [5,inf)
validas[validas['tempo']>=5].sort_values(by="tempo",ascending=False)
| tempo | classe | triplas | |
|---|---|---|---|
| 116 | 188.761973 | Status de similaridade | 7 |
| 66 | 104.432147 | Item | 7 |
| 18 | 21.399923 | Consumidor | 13 |
| 73 | 12.862671 | Não Contribuinte | 6 |
| 2 | 12.334238 | Arma | 8 |
| 47 | 11.532302 | Estabelecimento | 28 |
| 34 | 11.024131 | Empresa Holding | 25 |
| 84 | 8.734953 | Pessoa Física REDESIM | 16 |
| 15 | 8.495579 | Combustível | 7 |
| 19 | 7.763707 | Contador | 16 |
| 48 | 7.242830 | Estabelecimento REDESIM | 21 |
| 26 | 6.190413 | Contribuinte IPVA | 6 |
| 38 | 5.620669 | Empresa | Organização | Pessoa Jurídica SEFAZ | 15 |
| 96 | 5.455715 | Representante Legal Físico | 16 |
| 95 | 5.442606 | Representante Legal | 16 |
Exemplo:
prefix owl: \http://www.w3.org/2002/07/owl#\
prefix rdfs: \http://www.w3.org/2000/01/rdf-schema#\
select * where {
<http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/14769662491-10_05_2017-00371520167> rdfs:label ?o.
} LIMIT 100
d4 = pd.read_csv("pd3.csv")
d4
| tempo | classe | triplas | |
|---|---|---|---|
| 0 | 0.106390 | Acórdão | 1 |
| 1 | 0.040435 | Agente | 1 |
| 2 | 8.609062 | Arma | 1 |
| 3 | 0.290143 | Arquivo | 1 |
| 4 | 0.027227 | Ativa | 1 |
| ... | ... | ... | ... |
| 133 | 0.026777 | Unidade Federativa | Estado | 1 |
| 134 | 0.025785 | Unidade Fiscal | 1 |
| 135 | 0.882083 | Usuário | 1 |
| 136 | 0.046247 | Órgão | 1 |
| 137 | 0.478644 | Evento | 1 |
138 rows × 3 columns
p = {'não tem label':d4[(d4['triplas']==0) | (d4['triplas']==-1)].shape[0],'tem label':d4.shape[0]-d4[(d4['triplas']==0) | (d4['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de classes com recursos com labels')
fig.show()
d4[(d4['triplas']==0) | (d4['triplas']==-1)]
| tempo | classe | triplas |
|---|
validas = d4
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<5], x="tempo",title="histograma de tempo de execução tempo [0,5)")
fig.show()
Estatísticas para consultas com tempo [0,5)
validas[validas['tempo']<5].describe()
| tempo | triplas | |
|---|---|---|
| count | 134.000000 | 134.000000 |
| mean | 0.167227 | 1.097015 |
| std | 0.271393 | 0.297089 |
| min | 0.006804 | 1.000000 |
| 25% | 0.029508 | 1.000000 |
| 50% | 0.051911 | 1.000000 |
| 75% | 0.176413 | 1.000000 |
| max | 1.888993 | 2.000000 |
Estatísticas para consultas com tempo [5,inf)
validas[validas['tempo']>=5].describe()
| tempo | triplas | |
|---|---|---|
| count | 4.000000 | 4.0 |
| mean | 40.873847 | 1.0 |
| std | 46.169326 | 0.0 |
| min | 8.609062 | 1.0 |
| 25% | 16.181462 | 1.0 |
| 50% | 22.840456 | 1.0 |
| 75% | 47.532842 | 1.0 |
| max | 109.205415 | 1.0 |
Consultas com tempo [5,inf)
validas[validas['tempo']>=5].sort_values(by='tempo',ascending=False)
| tempo | classe | triplas | |
|---|---|---|---|
| 83 | 109.205415 | Pessoa Física Cadastro SEFAZ | 1 |
| 116 | 26.975317 | Status de similaridade | 1 |
| 66 | 18.705595 | Item | 1 |
| 2 | 8.609062 | Arma | 1 |
Exemplo:
prefix owl: \http://www.w3.org/2002/07/owl#\
prefix rdfs: \http://www.w3.org/2000/01/rdf-schema#\
select * where {
?s a <http://www.sefaz.ma.gov.br/ontology/Acordao>;
<http://www.sefaz.ma.gov.br/ontology/data_final> ?o.
} LIMIT 100
d5 = pd.read_csv("pd4.csv")
d5
| tempo | classe | propriedade | triplas | |
|---|---|---|---|---|
| 0 | 0.010664 | Acórdão | data final | 0 |
| 1 | 0.103770 | Agente | name | 100 |
| 2 | 0.014328 | Agente | nome | 100 |
| 3 | 0.587059 | Agente | tem solicitação | 0 |
| 4 | 1.950365 | Agente | tem tipo de contribuição | 100 |
| ... | ... | ... | ... | ... |
| 890 | 0.005263 | Órgão | 0 | |
| 891 | 0.005543 | Órgão | idêntico / igual / mesmo que / sameAs | 0 |
| 892 | 4.384777 | Evento | tem solicitação | 100 |
| 893 | 0.360818 | Evento | código do evento | 90 |
| 894 | 0.322845 | Evento | descrição do evento | 68 |
895 rows × 4 columns
d5[(d5['triplas']==0) | (d5['triplas']==-1)]
| tempo | classe | propriedade | triplas | |
|---|---|---|---|---|
| 0 | 0.010664 | Acórdão | data final | 0 |
| 3 | 0.587059 | Agente | tem solicitação | 0 |
| 6 | 0.007381 | Agente | cpf ou cnpj | 0 |
| 9 | 0.019379 | Agente | número de contato | 0 |
| 10 | 0.005738 | Agente | contact number | 0 |
| ... | ... | ... | ... | ... |
| 887 | 0.005949 | Órgão | tem matriz | 0 |
| 888 | 0.005815 | Órgão | cnpj raíz | 0 |
| 889 | 0.005603 | Órgão | razão social | 0 |
| 890 | 0.005263 | Órgão | 0 | |
| 891 | 0.005543 | Órgão | idêntico / igual / mesmo que / sameAs | 0 |
377 rows × 4 columns
p = {'inválida':d5[(d5['triplas']==0) | (d5['triplas']==-1)].shape[0],'válida':d5.shape[0]-d5[(d5['triplas']==0) | (d5['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de propriedades de classes válidas')
fig.show()
d5['erro']='Não'
d5.loc[d5['triplas']==-1,'erro']='Sim'
p = d5['erro'].value_counts().reset_index(name="qtd")
fig = px.pie(p,values='qtd', names='index', title='Percentual de propriedades de classes que deram erro')
fig.show()
Consultas com erro
d5[d5['triplas']==-1]
| tempo | classe | propriedade | triplas | erro | |
|---|---|---|---|---|---|
| 811 | 1200.022463 | Status de similaridade | de endereço | -1 | Sim |
| 812 | 1200.019960 | Status de similaridade | grau de similaridade | -1 | Sim |
| 813 | 1200.081917 | Status de similaridade | descrição | -1 | Sim |
p = {'propridade sem valor':d5[(d5['triplas']==0)].shape[0],'propridades com valor':d5.shape[0]-d5[(d5['triplas']==0)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de propriedades com valores por classe')
fig.show()
Consultas com retorno vazio
d5[(d5['triplas']==0)]
| tempo | classe | propriedade | triplas | erro | |
|---|---|---|---|---|---|
| 0 | 0.010664 | Acórdão | data final | 0 | Não |
| 3 | 0.587059 | Agente | tem solicitação | 0 | Não |
| 6 | 0.007381 | Agente | cpf ou cnpj | 0 | Não |
| 9 | 0.019379 | Agente | número de contato | 0 | Não |
| 10 | 0.005738 | Agente | contact number | 0 | Não |
| ... | ... | ... | ... | ... | ... |
| 887 | 0.005949 | Órgão | tem matriz | 0 | Não |
| 888 | 0.005815 | Órgão | cnpj raíz | 0 | Não |
| 889 | 0.005603 | Órgão | razão social | 0 | Não |
| 890 | 0.005263 | Órgão | 0 | Não | |
| 891 | 0.005543 | Órgão | idêntico / igual / mesmo que / sameAs | 0 | Não |
374 rows × 5 columns
validas = d5[d5['triplas']!=-1]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<5], x="tempo",title="histograma de tempo de execução com tempo [0,5)")
fig.show()
Estatísticas para consultas com tempo [0,5)
validas[validas['tempo']<5].describe()
| tempo | triplas | |
|---|---|---|
| count | 866.000000 | 866.000000 |
| mean | 0.224255 | 54.203233 |
| std | 0.506602 | 49.556230 |
| min | 0.003877 | 0.000000 |
| 25% | 0.007053 | 0.000000 |
| 50% | 0.021480 | 100.000000 |
| 75% | 0.159681 | 100.000000 |
| max | 4.384777 | 100.000000 |
Estatísticas para consultas com tempo [5,inf)
validas[validas['tempo']>=5].describe()
| tempo | triplas | |
|---|---|---|
| count | 26.000000 | 26.000000 |
| mean | 23.333308 | 92.346154 |
| std | 41.347972 | 27.039145 |
| min | 5.744885 | 0.000000 |
| 25% | 6.938352 | 100.000000 |
| 50% | 9.490139 | 100.000000 |
| 75% | 23.397224 | 100.000000 |
| max | 216.440298 | 100.000000 |
Propriedades de classes com tempo [5,inf)
validas[validas['tempo']>=5].sort_values(by='tempo',ascending=False)
| tempo | classe | propriedade | triplas | erro | |
|---|---|---|---|---|---|
| 295 | 216.440298 | Endereço Cadastro da SEFAZ | tem similaridade | 100 | Não |
| 424 | 41.027088 | Estabelecimento RFB | contact number | 100 | Não |
| 423 | 40.475217 | Estabelecimento RFB | número de contato | 100 | Não |
| 341 | 38.910366 | Endereço RFB | número | 100 | Não |
| 344 | 38.426250 | Endereço RFB | cep | 100 | Não |
| 428 | 36.065142 | Estabelecimento RFB | telefone | 100 | Não |
| 343 | 24.207266 | Endereço RFB | CEP | 100 | Não |
| 340 | 20.967095 | Endereço RFB | número | 100 | Não |
| 206 | 17.473143 | Empresa | Organização | Pessoa Jurídica RFB | tem matriz | 100 | Não |
| 240 | 13.365799 | Endereço | tem similaridade | 100 | Não |
| 363 | 10.400927 | Estabelecimento | foi desabilitado | 100 | Não |
| 38 | 10.166660 | Ativa | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 708 | 9.761528 | Situação Cadastral | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 871 | 9.218750 | Unidade Consumo Telecomunicação | tipo assinante | 1 | Não |
| 170 | 7.706445 | Empresa | Organização | Pessoa Jurídica | tem solicitação | 100 | Não |
| 327 | 7.643387 | Endereço REDESIM | número | 100 | Não |
| 328 | 7.260927 | Endereço REDESIM | número | 100 | Não |
| 57 | 7.116943 | Baixa de Ofício | idêntico / igual / mesmo que / sameAs | 0 | Não |
| 330 | 7.024045 | Endereço REDESIM | CEP | 100 | Não |
| 488 | 6.909788 | Inadimplente | tem inadimplencia | 100 | Não |
| 331 | 6.866328 | Endereço REDESIM | cep | 100 | Não |
| 216 | 6.004621 | Empresa | Organização | Pessoa Jurídica SEFAZ | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 720 | 5.862760 | Situação Cadastral RFB | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 712 | 5.842156 | Situação Cadastral Cadastro da SEFAZ | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 198 | 5.778191 | Empresa | Organização | Pessoa Jurídica | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 321 | 5.744885 | Endereço REDESIM | tem similaridade | 100 | Não |
Exemplo:
SELECT * where {
BIND(<http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/14769662491-10_05_2017-00371520167> as ?node)
{
?node ?p ?o .
filter(?p != <http://www.w3.org/1999/02/22-rdf-syntax-ns#type>)
filter(isURI(?o))
}
OPTIONAL{
?s ?p2 ?node.
filter(?p2 != <http://www.w3.org/1999/02/22-rdf-syntax-ns#type>)
filter(isURI(?s))
}
}
d6 = pd.read_csv("pd5.csv")
d6
| tempo | classe | recurso | triplas | |
|---|---|---|---|---|
| 0 | 0.807705 | Acórdão | http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/033.003.508-83-2019-11-20T17%3A30%3A00Z-020.012%2F2018-7 | 1 |
| 1 | 0.582318 | Agente | http://www.sefaz.ma.gov.br/resource/RFB/Agente/14%20LTD | 1 |
| 2 | 0.562564 | Arma | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Arma/5 | 0 |
| 3 | 2.584573 | Arquivo | http://www.sefaz.ma.gov.br/resource/REDESIM/Arquivo/701 | 1 |
| 4 | 0.642466 | Ativa | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/ATIVA-7479142000122-2022_04_11 | 0 |
| ... | ... | ... | ... | ... |
| 133 | 0.609233 | Unidade Federativa | Estado | http://www.sefaz.ma.gov.br/resource/DOMINIO/Unidade_Federativa/MG | 0 |
| 134 | 0.539242 | Unidade Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Unidade_Fiscal/1 | 0 |
| 135 | 0.556555 | Usuário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Usuario/1088772 | 0 |
| 136 | 0.859762 | Órgão | http://www.sefaz.ma.gov.br/resource/CEIS/Orgao/MINISTÉRIO%20DA%20AGRICULTURA%2C%20PECUÁRIA%20E%20ABASTECIMENTO | 48 |
| 137 | 0.993227 | Evento | http://www.sefaz.ma.gov.br/resource/REDESIM/Evento/691 | 46 |
138 rows × 4 columns
d6[(d6['triplas']==0) | (d6['triplas']==-1)]
| tempo | classe | recurso | triplas | |
|---|---|---|---|---|
| 2 | 0.562564 | Arma | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Arma/5 | 0 |
| 4 | 0.642466 | Ativa | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/ATIVA-7479142000122-2022_04_11 | 0 |
| 7 | 0.631421 | Baixa de Ofício | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/BAIXA_DE_OFICIO-30984323000128-2019_07_17 | 0 |
| 8 | 0.584269 | Baixada | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/BAIXADA-7476781001025-2022_06_02 | 0 |
| 9 | 0.549846 | CEP do Logradouro | http://www.sefaz.ma.gov.br/resource/DOMINIO/CEP_Logradouro/01019030 | 0 |
| 10 | 0.661385 | Cancelada | http://www.sefaz.ma.gov.br/resource/REDESIM/Situacao_Cadastral/CANCELADA-13471007000133-2011_04_06 | 0 |
| 11 | 0.546822 | Caso da consistência | http://www.sefaz.ma.gov.br/resource/Caso_Consistencia/2.1 | 0 |
| 12 | 0.660747 | Caso da similaridade | http://www.sefaz.ma.gov.br/resource/Caso_Similaridade/1 | 0 |
| 18 | 0.575504 | Consumidor | http://www.sefaz.ma.gov.br/resource/C115/Consumidor/0 | 0 |
| 31 | 0.580166 | Documento | http://xmlns.com/foaf/0.1/Document/CARTEIRA_DE_IDENTIDADE_PROFISSIONAL | 0 |
| 33 | 0.555235 | Emancipado | http://www.sefaz.ma.gov.br/resource/REDESIM/Emancipado/661333 | 0 |
| 46 | 0.551640 | Entidade Integrada | http://www.sefaz.ma.gov.br/resource/REDESIM/Entidade_Integrada/9921 | 0 |
| 65 | 0.546859 | Infração | http://www.sefaz.ma.gov.br/resource/CEI/Infracao/1 | 0 |
| 69 | 0.709817 | Medicamento | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Medicamento/318957711 | 0 |
| 70 | 0.625381 | Nacionalidade | http://www.sefaz.ma.gov.br/resource/REDESIM/Nacionalidade/BRASILEIRA | 0 |
| 71 | 0.567998 | Natureza Legal | Natureza Jurídica | http://www.sefaz.ma.gov.br/resource/DOMINIO/Natureza_Legal/1309 | 0 |
| 73 | 0.542475 | Não Contribuinte | http://www.sefaz.ma.gov.br/resource/DOMINIO/Nao_Contribuinte_ICMS/59080 | 0 |
| 75 | 0.579602 | Obrigação | http://www.sefaz.ma.gov.br/resource/CEI/Obrigacao/%20Implantação%20de%20Iluminação%20Pública%20na%20Av.%20Anita%20Viana | 0 |
| 78 | 0.691129 | Opção pelo regime SIMPLES | http://www.sefaz.ma.gov.br/resource/RFB/Opcao_Simples/NAO-00000000 | 0 |
| 80 | 0.543192 | País | http://www.sefaz.ma.gov.br/resource/DOMINIO/Pais/AFEGANISTAO | 0 |
| 81 | 0.565853 | Periodicidade | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Periodicidade/ANUAL | 0 |
| 85 | 0.596669 | Pessoa Física RFB | http://www.sefaz.ma.gov.br/resource/RFB/Pessoa/___000000__-AILTO_NECKEL_DE_SOUZA | 0 |
| 86 | 0.542840 | Porte da Empresa | Porte Empresarial | Porte | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Porte/PEQUENO_PORTE | 0 |
| 88 | 0.005409 | Produto | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Medicamento/318957711 | 0 |
| 89 | 0.519752 | Protocolo | http://www.sefaz.ma.gov.br/resource/REDESIM/Protocolo/MAP1601308248 | 0 |
| 91 | 0.595586 | Qualificação do Sócio ou Representante | http://www.sefaz.ma.gov.br/resource/DOMINIO/Qualificacao/ACIONISTA | 0 |
| 92 | 0.566240 | Razão | Motivo de Situação Cadastral | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Razao_Situacao_Cadastral/1 | 0 |
| 100 | 0.880187 | Seção CNAE | http://www.sefaz.ma.gov.br/resource/DOMINIO/Atividade_Economica/CNAE_1.0_SECAO-EDUCACAO | 0 |
| 101 | 0.546227 | Situação Cadastral | http://www.sefaz.ma.gov.br/resource/REDESIM/Situacao_Cadastral/CANCELADA_ART.60_LEI_8934%2F94-29073837000142-2017_11_14 | 0 |
| 102 | 0.015992 | Situação Cadastral Cadastro da SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/BAIXADA-7476781001025-2022_06_02 | 0 |
| 103 | 0.547760 | Situação Cadastral REDESIM | http://www.sefaz.ma.gov.br/resource/REDESIM/Situacao_Cadastral/ATIVA-31006030000139-2018_07_24 | 0 |
| 104 | 0.608587 | Situação Cadastral RFB | http://www.sefaz.ma.gov.br/resource/RFB/Situacao_Cadastral/ATIVA-00000000000191-2005_11_03 | 0 |
| 105 | 0.532748 | Situação Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Fiscal/12753821-HABILITADO | 0 |
| 106 | 0.516026 | Situação especial | http://www.sefaz.ma.gov.br/resource/RFB/Situacao_Especial/00002342-1998_02_13 | 0 |
| 115 | 0.580302 | Status de Envio | http://www.sefaz.ma.gov.br/resource/REDESIM/Status_Envio/PENDENTE_ENVIO | 0 |
| 119 | 0.716742 | Suspensa de Ofício | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/SUSPENSA_DE_OFICIO-40031232000121-2021_10_12 | 0 |
| 124 | 0.529164 | Tipo Ato | http://www.sefaz.ma.gov.br/resource/REDESIM/Tipo_Ato/INSCRICAO | 0 |
| 125 | 0.542913 | Tipo de Contribuição | http://www.sefaz.ma.gov.br/resource/DOMINIO/Tipo_Contribuicao/NAO_CONTRIBUINTE_DO_ICMS | 0 |
| 126 | 0.579189 | Tipo de Propriedade | http://www.sefaz.ma.gov.br/resource/REDESIM/Tipo_Propriedade/PROPRIO | 0 |
| 127 | 0.533351 | Tipo de Regime Tributário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Tipo_Regime_Tributario/SIMPLES_NACIONAL | 0 |
| 128 | 0.531662 | Tipo do Estabelecimento | http://www.sefaz.ma.gov.br/resource/DOMINIO/Tipo_Estabelecimento/FILIAL | 0 |
| 133 | 0.609233 | Unidade Federativa | Estado | http://www.sefaz.ma.gov.br/resource/DOMINIO/Unidade_Federativa/MG | 0 |
| 134 | 0.539242 | Unidade Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Unidade_Fiscal/1 | 0 |
| 135 | 0.556555 | Usuário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Usuario/1088772 | 0 |
p = {'inválida':d6[(d6['triplas']==0) | (d6['triplas']==-1)].shape[0],'válida':d6.shape[0]-d6[(d6['triplas']==0) | (d6['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de propriedades de classes válidas')
fig.show()
d6['erro'] = 'Não'
d6.loc[d6['triplas']==-1,'erro']='Sim'
p = d6['erro'].value_counts().reset_index(name="qtd")
fig = px.pie(p,values='qtd', names='index', title='Percentual de recursos que deram erro')
fig.show()
p = {'nós sem relações':d6[(d6['triplas']==0)].shape[0],'nós com relações':d6.shape[0]-d6[(d6['triplas']==0)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual nós sem relações por classe')
fig.show()
validas = d6[(d6['triplas']!=0) & (d6['triplas']!=-1)]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<30], x="tempo",title="histograma de tempo de execução com tempo [0,30)")
fig.show()
fig = px.histogram(validas[validas['tempo']>=8], x="tempo",title="histograma de tempo de execução com tempo [8,inf)")
fig.show()
Estatísticas para consultas com tempo [0,8)
validas[validas['tempo']<8].describe()
| tempo | triplas | |
|---|---|---|
| count | 74.000000 | 74.000000 |
| mean | 1.595184 | 7.756757 |
| std | 1.647931 | 19.662084 |
| min | 0.006783 | 1.000000 |
| 25% | 0.582946 | 1.000000 |
| 50% | 0.756484 | 2.000000 |
| 75% | 2.362968 | 5.000000 |
| max | 6.364030 | 140.000000 |
Estatísticas para consultas com tempo [8,inf)
validas[validas['tempo']>=8].describe()
| tempo | triplas | |
|---|---|---|
| count | 20.000000 | 20.000000 |
| mean | 219.038894 | 14048.500000 |
| std | 715.614204 | 41053.484259 |
| min | 8.193054 | 1.000000 |
| 25% | 14.743475 | 3.000000 |
| 50% | 27.806373 | 9.000000 |
| 75% | 93.687104 | 42.000000 |
| max | 3242.973036 | 173991.000000 |
Recursos com tempo [8,inf)
validas[validas['tempo']>=8].sort_values(by='tempo',ascending=False)
| tempo | classe | recurso | triplas | erro | |
|---|---|---|---|---|---|
| 37 | 3242.973036 | Empresa | Organização | Pessoa Jurídica RFB | http://www.sefaz.ma.gov.br/resource/RFB/Empresa/00000000 | 173991 | Não |
| 116 | 259.803473 | Status de similaridade | http://www.sefaz.ma.gov.br/resource/CADxNFE/Similaridade/12252751-5496853000180 | 6 | Não |
| 15 | 251.221294 | Combustível | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Combustivel/11141459 | 1 | Não |
| 34 | 108.310404 | Empresa Holding | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Empresa/1005728000179 | 9 | Não |
| 129 | 96.530171 | Unidade Consumo | http://www.sefaz.ma.gov.br/resource/C115/Unidade_Consumo/000000000017 | 3 | Não |
| 59 | 92.739415 | Grupo | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Empresa/1005728000179 | 9 | Não |
| 97 | 79.948118 | Representante Legal Jurídico | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Empresa/1005728000179 | 9 | Não |
| 66 | 39.462826 | Item | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Item/10000513513100005119 | 3 | Não |
| 16 | 31.533105 | Compra Pública | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Compra_Publica/5613 | 2 | Não |
| 38 | 28.418416 | Empresa | Organização | Pessoa Jurídica SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Empresa/12000060 | 6 | Não |
| 47 | 27.194331 | Estabelecimento | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Estabelecimento/12000000 | 42 | Não |
| 50 | 24.461756 | Estabelecimento SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Estabelecimento/12000000 | 42 | Não |
| 17 | 17.412839 | Conceito | http://www.sefaz.ma.gov.br/resource/DOMINIO/Atividade_Economica/2731700 | 53370 | Não |
| 117 | 16.938432 | Subclasse CNAE | http://www.sefaz.ma.gov.br/resource/DOMINIO/Atividade_Economica/2731700 | 53370 | Não |
| 6 | 15.749081 | Bairro | http://www.sefaz.ma.gov.br/resource/DOMINIO/Bairro/1°_NOVO_LOTEAMENTO_BUSCARDI-TAQUARITINGA | 6 | Não |
| 63 | 11.726657 | Inadimplência | http://www.sefaz.ma.gov.br/resource/CEI/Inadimplencia/10000100-2875068000140-20%2F09%2F05%2000%3A00%3A00-20%2F09%2F05%2000%3A00%3A00 | 2 | Não |
| 90 | 10.029521 | Provedor | http://www.sefaz.ma.gov.br/resource/C115/Provedor/1009876001729 | 1 | Não |
| 49 | 9.448034 | Estabelecimento RFB | http://www.sefaz.ma.gov.br/resource/RFB/Estabelecimento/00000000000191 | 54 | Não |
| 83 | 8.683921 | Pessoa Física Cadastro SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Pessoa/2010305 | 12 | Não |
| 48 | 8.193054 | Estabelecimento REDESIM | http://www.sefaz.ma.gov.br/resource/REDESIM/Estabelecimento/191 | 32 | Não |
Exemplo:
SELECT * where {
BIND(<http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/14769662491-10_05_2017-00371520167> as ?node)
?node ?p ?o .
filter(?p != <http://www.w3.org/1999/02/22-rdf-syntax-ns#type>)
filter(isURI(?o))
?o ?p3 ?o2.
filter(?p3 != <http://www.w3.org/1999/02/22-rdf-syntax-ns#type>)
filter(isURI(?o2))
}
d7 = pd.read_csv("pd6.csv")
d7
| tempo | classe | recurso | triplas | |
|---|---|---|---|---|
| 0 | 0.821909 | Acórdão | http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/033.003.508-83-2019-11-20T17%3A30%3A00Z-020.012%2F2018-7 | 0 |
| 1 | 1.100322 | Agente | http://www.sefaz.ma.gov.br/resource/RFB/Agente/14%20LTD | 0 |
| 2 | 0.707942 | Arma | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Arma/5 | 0 |
| 3 | 0.732988 | Arquivo | http://www.sefaz.ma.gov.br/resource/REDESIM/Arquivo/701 | 0 |
| 4 | 1.083325 | Ativa | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/ATIVA-7479142000122-2022_04_11 | 0 |
| ... | ... | ... | ... | ... |
| 133 | 0.702072 | Unidade Federativa | Estado | http://www.sefaz.ma.gov.br/resource/DOMINIO/Unidade_Federativa/MG | 0 |
| 134 | 0.685191 | Unidade Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Unidade_Fiscal/1 | 0 |
| 135 | 0.751674 | Usuário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Usuario/1088772 | 0 |
| 136 | 0.717011 | Órgão | http://www.sefaz.ma.gov.br/resource/CEIS/Orgao/MINISTÉRIO%20DA%20AGRICULTURA%2C%20PECUÁRIA%20E%20ABASTECIMENTO | 0 |
| 137 | 3.848558 | Evento | http://www.sefaz.ma.gov.br/resource/REDESIM/Evento/691 | 212 |
138 rows × 4 columns
d7[(d7['triplas']==0) | (d7['triplas']==-1)]
| tempo | classe | recurso | triplas | |
|---|---|---|---|---|
| 0 | 0.821909 | Acórdão | http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/033.003.508-83-2019-11-20T17%3A30%3A00Z-020.012%2F2018-7 | 0 |
| 1 | 1.100322 | Agente | http://www.sefaz.ma.gov.br/resource/RFB/Agente/14%20LTD | 0 |
| 2 | 0.707942 | Arma | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Arma/5 | 0 |
| 3 | 0.732988 | Arquivo | http://www.sefaz.ma.gov.br/resource/REDESIM/Arquivo/701 | 0 |
| 4 | 1.083325 | Ativa | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/ATIVA-7479142000122-2022_04_11 | 0 |
| ... | ... | ... | ... | ... |
| 128 | 0.678468 | Tipo do Estabelecimento | http://www.sefaz.ma.gov.br/resource/DOMINIO/Tipo_Estabelecimento/FILIAL | 0 |
| 133 | 0.702072 | Unidade Federativa | Estado | http://www.sefaz.ma.gov.br/resource/DOMINIO/Unidade_Federativa/MG | 0 |
| 134 | 0.685191 | Unidade Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Unidade_Fiscal/1 | 0 |
| 135 | 0.751674 | Usuário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Usuario/1088772 | 0 |
| 136 | 0.717011 | Órgão | http://www.sefaz.ma.gov.br/resource/CEIS/Orgao/MINISTÉRIO%20DA%20AGRICULTURA%2C%20PECUÁRIA%20E%20ABASTECIMENTO | 0 |
86 rows × 4 columns
p = {'inválidas':d7[(d7['triplas']==0) | (d7['triplas']==-1)].shape[0],'válidas':d7.shape[0]-d7[(d7['triplas']==0) | (d7['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de recursos com duas propriedades em cadeia por classe válidos')
fig.show()
d7['erro'] = 'Não'
d7.loc[d7['triplas']==-1,'erro']='Sim'
p = d7['erro'].value_counts().reset_index(name="qtd")
fig = px.pie(p,values='qtd', names='index', title='Percentual de recursos que deram erro')
fig.show()
validas = d7[(d7['triplas']!=0) & (d7['triplas']!=-1)]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<=19], x="tempo",title="histograma de tempo de execução com tempo [0,19]")
fig.show()
Estatísticas para consultas com tempo [0,8)
validas[validas['tempo']<8].describe()
| tempo | triplas | |
|---|---|---|
| count | 41.000000 | 41.000000 |
| mean | 2.147579 | 11.390244 |
| std | 1.625417 | 32.832817 |
| min | 0.112377 | 1.000000 |
| 25% | 1.250301 | 2.000000 |
| 50% | 1.381517 | 3.000000 |
| 75% | 2.725118 | 9.000000 |
| max | 6.316660 | 212.000000 |
Estatísticas para consultas com tempo [8,inf)
validas[validas['tempo']>=8].describe()
| tempo | triplas | |
|---|---|---|
| count | 11.000000 | 11.000000 |
| mean | 72.838079 | 12108.636364 |
| std | 90.954499 | 40093.809036 |
| min | 8.809236 | 4.000000 |
| 25% | 12.427844 | 9.000000 |
| 50% | 23.832797 | 12.000000 |
| 75% | 106.934323 | 25.000000 |
| max | 237.187752 | 132996.000000 |
Consultas com tempo [8,inf)
validas[validas['tempo']>=8].sort_values(by='tempo',ascending=False)
| tempo | classe | recurso | triplas | erro | |
|---|---|---|---|---|---|
| 47 | 237.187752 | Estabelecimento | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Estabelecimento/12000000 | 25 | Não |
| 42 | 227.495602 | Endereço NFE | http://www.sefaz.ma.gov.br/resource/NFE/Endereco/77485000111 | 4 | Não |
| 36 | 167.298348 | Empresa | Organização | Pessoa Jurídica REDESIM | http://www.sefaz.ma.gov.br/resource/REDESIM/Empresa/10010880 | 84 | Não |
| 39 | 46.570298 | Endereço | http://www.sefaz.ma.gov.br/resource/C115TELECOMUNICACAO/Endereco/1125922088 | 4 | Não |
| 67 | 40.544146 | Localização | Local | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Endereco/12000000 | 12 | Não |
| 37 | 23.832797 | Empresa | Organização | Pessoa Jurídica RFB | http://www.sefaz.ma.gov.br/resource/RFB/Empresa/00000000 | 132996 | Não |
| 38 | 14.955223 | Empresa | Organização | Pessoa Jurídica SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Empresa/12000060 | 17 | Não |
| 107 | 13.184316 | Sociedade | http://www.sefaz.ma.gov.br/resource/REDESIM/Sociedade/EMPRESARIO-31760429-70619743387 | 8 | Não |
| 50 | 11.671371 | Estabelecimento SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Estabelecimento/12000000 | 25 | Não |
| 48 | 9.669775 | Estabelecimento REDESIM | http://www.sefaz.ma.gov.br/resource/REDESIM/Estabelecimento/191 | 10 | Não |
| 19 | 8.809236 | Contador | http://www.sefaz.ma.gov.br/resource/REDESIM/Pessoa/725323 | 10 | Não |